虽然减少方差方法在解决大规模优化问题方面取得了巨大成功，但其中许多人遭受了累积错误，因此应定期需要进行完整的梯度计算。在本文中，我们提出了一种用于有限的和非convex优化的单环算法（梯度估计器的单环方法），该算法不需要定期刷新梯度估计器，但实现了几乎最佳的梯度复杂性。与现有方法不同，雪橇具有多功能性的优势。 （i）二阶最优性，（ii）PL区域中的指数收敛性，以及（iii）在较小的数据异质性下较小的复杂性。我们通过利用这些有利的特性来构建有效的联合学习算法。我们展示了输出的一阶和二阶最优性，并在PL条件下提供分析。当本地预算足够大，并且客户少（Hessian-）〜异质时，该算法需要较少的通信回合，而不是现有方法，例如FedAvg，脚手架和Mime。我们方法的优势在数值实验中得到了验证。
translated by 谷歌翻译